Fue educado estrictamente por el príncipe Dietrich Otto von Salm, resultando un buen lingüista.

Retrato de José I niño, por Benjamin von Block

En su juventud recibió lecciones de música de J. J. Prinner y tocaba el clavicordio, la  flauta y otros instrumentos. Tenía talento para la música y la danza y tomó parte en muchas actuaciones en el teatro de la corte de Viena entre 1682 y 1699 como cantante, bailarín y flautista.

En 1699, se casó con Guillermina de Hannover (1673-1742) hija del duque Federico de Brunswick-Lünenburgo, con la que tuvo dos hijas y un hijo: María Josefa (1699-1757),  Leopoldo José (1700) y María Amelia. (1701-1756). Sucedió a su padre como Emperador  del Santo Imperio Romano  el 5 de mayo de 1705.

Murió a los 32 años de edad y le sucedió su hermano menor, el Archiduque Carlos de Habsburgo como Carlos VI del Sacro Imperio Romano Germánico. Hecho que dio lugar a la Paz de Utrecht y al fin de la Guerra de Sucesión Española.

Sus composiciones supervivientes claramente son influenciadas por el estilo de Alessandro Scarlatti, a pesar de que en general tienen más individualidad que las obras de Leopoldo I; el aria "Tutto in pianto", por ejemplo, tiene una de las partes de obbligato más antiguas para chalumeau (especie de flauta dulce con embocadura de clarinete).